Gia đình Epstein là một gia đình Do Thái. Ông nội của Brian, Isaac là một người Litva, tới Anh khoảng những năm 1890[3]. Bà nội anh, Dinah Hyman, là một người nhập cư Nga, tới Anh cùng gia đình từ năm 1871. Gia đình Hyman cũng có sáu người con.

Isaac và Dinah cưới nhau năm 1900 tại Manchester. Năm 1901, họ chuyển tới sống tại 80 Walton Road, Liverpool cùng chị gái Raphael Epstein. Con trai thứ ba của họ là Harry Epstein[4], người sau này sinh ra Brian. Sau này họ dọn ra một căn nhà khang trang hơn ở 27 Anfield Road, Liverpool (ngày nay được sửa chữa thành khách sạn Epstein House). Isaac lập một hãng nhỏ tên là "I. Epstein and Sons", mở rộng việc kinh doanh thành chuỗi các cửa hàng (62/72 Walton Road) để bán tất cả các loại mặt hàng, từ nhạc cụ cho tới các sản phẩm gia dụng[4][5]. Họ đổi tên sau đó thành NEMS và bắt đầu có vài chi nhánh nhỏ, nơi mà bố của Paul McCartney từng tới để mua tặng con trai một chiếc piano cũ[6][7][8].

Mẹ của Epstein tên là Malka, cũng là một người nhập cư Do Thái. Brian chào đời ngày 19 tháng 9 năm 1934 tại phố Rodney, Liverpool. Harry và Malka còn có một người con trai khác sau đó, Clive, kém Brian 22 tháng[9]. Trong Chiến tranh thế giới thứ hai, gia đình Epstein chuyển tới Southport rồi họ trở về Liverpool năm 1945[10]. Họ sống tại 197 Queens Drive, Childwall, Liverpool và ở đó tới tận 30 năm sau[11].

Khi nhỏ, Brian được học tại Clayesmore School ở Dorset, sau đó năm 14 Brian được học tại Wrekin College ở Shropshire, nơi lần đầu cậu được học violin[12]. Năm 16 tuổi, Brian viết cho bố một bức thư, trong đó nói mình khao khát trở thành một nhà thiết kế váy, tuy nhiên, Harry kịch liệt phản đối và yêu cầu cậu phải "đem lại lợi nhuận" cho công việc của gia đình[13][9]. Sau khi thực tập 6 tháng tại một công ty bán lẻ[14], Brian làm việc cho NEMS với mức lương năm bảng/tuần. Brian được bố hết mực ca ngợi sau khi bán được một chiếc bàn ăn có giá 12 bảng cho một quý bà tới để mua gương[15].

Tháng 12 năm 1952, Brian thực hiện nghĩa vụ quân sự với Quân đội Hoàng gia Anh. Cậu đứng gác tại phố Albany gần công viên Regent ở Luân Đôn[13]. Sau khi trở lại Liverpool, Brian làm việc ở hãng bán lẻ Clarendon ở Hoylake và năm 1955, cậu trở thành giám đốc của NEMS[9]. Tháng 9 năm 1956, Brian lên Luân Đôn gặp bạn bè và bị mất hết giấy tờ tùy thân. Không muốn bị gia đình hay tin, cậu xin làm chui ở một cửa hàng tạp vụ cho tới khi đủ tiền mua vé đi về Liverpool[16]. Tới Liverpool, Brian tới gặp một bác sĩ tâm lý và thú nhận mình bị đồng tính. Bác sĩ nói với Harry rằng nên để con trai rời Liverpool càng sớm càng tốt, cùng lúc Brian có ước muốn trở thành diễn viên, họ để Brian tới Luân Đôn để đăng ký học đại học[9][16].

Vì "cảm thấy như một ông cụ ở tuổi 21"[17], Brian nộp đơn vào học tại Khoa kịch Học viện Hoàng gia Anh (Royal Academy of Dramatic Art – RADA). Cùng khóa với ông có Susannah York, Albert Finney và Peter O'Toole, tuy nhiên Brian trượt sau kỳ học thứ 3[18]. Cậu nói: "Có lẽ tôi thích kiếm tiền hơn là làm sinh viên, thực sự tôi không thích là một sinh viên."[19]

Trở lại Liverpool, Harry muốn con trai mở một cửa hàng chuyên về âm nhạc của NEMS tại phố Great Charlotte[20]. Cửa hàng hoạt động rất tốt và trở thành cửa hàng nhạc lớn nhất ở phía Bắc nước Anh[1]. Họ mở cửa hàng thứ hai tại 12–14 Whitechapel, và Brian quản lý toàn bộ hoạt động của cả hai cửa hàng. Cậu thường đi qua cửa hàng Lewis's nơi mà Peter Brown làm việc. Vô cùng ấn tượng về Brown, Epstein mời anh về làm việc cho NEMS với mức lương hậu hĩ và một chân quản lý tại cửa hàng[21]. Ngày 3 tháng 1 năm 1961, Brian bắt đầu được biết tới trong lĩnh vực âm nhạc với bài báo trên tạp chí Mersey Beat có tên "Kỷ lục tạo nên bởi Brian Epstein của NEMS."[22]